Clancarty kết hôn lần đầu tiên vào năm 1940, Diana (1919–1999), con gái của Sir William Younger, Bt. Cuộc hôn nhân này chấm dứt vào năm 1947. Ông kết hôn lần thứ hai, vào năm 1961, Bà Wilma Belknap (nhũ danh Vermilyea) (1915–1995) và về sau hai người ly dị vào năm 1969. Cuộc hôn nhân thứ ba của ông là vào năm 1974, với Bà Mildred Allewyn Spong (nhũ danh Bensusan) (1895–1975). Bà mất năm 1975 nhưng Clancarty đã tái hôn lần thứ tư vào năm 1976, với Bà May Beasley (nhũ danh Radonicich) (1904–2003).

Suốt phần đời còn lại ông sống ở South Kensington và qua đời tại Bexhill-on-Sea vào năm 1995, để lại bộ sưu tập giấy tờ phong phú của mình cho Contact International.

Tước vị Bá tước của ông được người cháu trai Nicholas Le Poer Trench (sinh 1952) kế thừa.